网络重构经典论文：NRI神经关系推理模型 | 论文笔记

导语

这篇文章发表于2018年，作者是图网络领域的代表人物之一Kipf，同时也是图卷积网络的作者。这篇论文首次在学习动力学的同时，学习出了显式的网络结构。文章使用 VAE 的架构，使用GNN + 无监督的方式，通过时间序列数据学习网络结构，并且同时学习网络演化的动力学，即预测网络中节点在未来时刻的状态。本文是对线上论文解读活动内容的整理，课程录播视频已上线，详情见下文。系列读书会目前开放报名中，详情见文末。

论文名称

论文题目：Neural Relational Inference for Interacting Systems论文地址：https://arxiv.org/abs/1802.04687

解读视频：

https://campus.swarma.org/course/1775?from=wechat

论文作者信息

姓名：Thomas Kipf

工作单位：Google Brain

研究兴趣：Machine Learning,  Deep Learning, Graph Neural Networks

本文要解决的问题

本文要解决的问题是，用 VAE 的架构，GNN + 无监督的方式，使用时间序列数据学习网络结构，并且同时学习网络演化的动力学，即预测网络中节点在未来时刻的状态。

首次在学习动力学的同时，学习出了显式的网络结构

我们通常能观测到的都是时间序列数据，比如每个时刻的天气状态；每个时刻的基因浓度值；每天的股票价格等等。通过时间序列数据，重构出网络结构和网络动力学，也就意味着我们能够通过可观测到的数据，去了解这个系统内部的机制，我们能知道天气系统中是什么因素影响了天气的变化，基因网络中是哪两个基因的相互作用让个体性状发生变化，股票系统中是哪个个体的行为让股票价值发生波动。

复杂系统普遍存在，如果能够通过节点状态数据，就观测到复杂系统的内部结构，我们就能更好地对复杂系统进行预测，甚至是对复杂系统进行控制。

背景

为了解决这一问题，之前人们曾经做过大量的尝试，但大多数方法强依赖于模型构建者的先验知识；无法泛化。而近年来，也有一些机遇深度学习的方法在尝试解决这一问题，但他们仅仅是利用网络去传递信息，构建隐式的相互作用，从而去预测动力学，而没有真正产出一个显式的网络结构。

算法框架

• 整体
• 输入：节点时间序列数据
• 输出：网络结构，和未来时刻的节点状态

模型主要分为两个部分，encoder 和 decoder：

encoder 做的事情：是根据输入的节点序列，生成邻接矩阵，即网络结构；

decoder 做的事情：是根据某一时刻的节点状态，加上邻接矩阵信息，输出下一时刻的节点状态。

算法的关键模块

encoder：

输入：节点状态的时间序列X

输出：网络连边表示h，即每条连边每个连边类型的概率分布

• 步骤1：首先对节点状态做一次映射，（实验中所有的f函数都代表映射函数，decoder 中主要使用了了 MLP 或者 CNN 作为映射函数）；

• 步骤2 v->e：两个节点 concat 组成一条连边，做一次映射后，作为这两个节点边的表示，如下图高亮部分。这一步用到的网络结构是一个全连接的网络，也可以是一个加入了先验的网络；

• 步骤3 e->v：再把每条连边的信息分别进行求和，代表汇聚连边信息，作为消息传递过程，得到更新后的节点表示；

• 为了让消息传递更充分，在 decoder 环节进行了多次 v-e-v 的映射，最终输出的 h(i,j) 作为系统的网络连边概率分布。

gumbel-softmax采样：

输入：上一步得到的网络连边概率分布 h(i, j)

输出：（近似）只包含 0 和 1 的邻接矩阵 z_ij

通常的采样过程会让梯度断裂，导致模型无法反传梯度。这里采用了 gumbel-softmax 采样的数学技巧，主要做了两件事情：

1. 给上一步得到的网络概率分布加上一个 gumbel 随机数 g，让模型可以依概率采样，也就是重参数化的过程；

2. 将采样过程转化为一个连续计算的近似（公式如下），让概率最大的值指数爆炸，逼近1，其他的概率逼近0，模拟采样的过程。（公式中的 d 就代表上面 hij 矩阵中每一条边中每类边类型的概率分布，λ是一个超参数）

decoder：

输入：采样得到的邻接矩阵 z_ij，t 时刻的节点状态

输出：t+1时刻的节点状态

decoder是经典的图网络的工作原理，完成了连边到节点的映射，在节点上加入了连边的信息，从而达到预测节点下一时刻状态的目的。 

论文的实验和结果

实验一：物理模型重构与预测

• 使用三个物理模型（弹簧振子，带电粒子，Kuromoto），对模型中的节点连边进行重构，同时预测未来时刻的状态；
• NRI 在与其他重构方法的对比中取得了 state of art 的效果。

连边重构效果

节点预测效果

实验二：人体动作捕捉

• 使用 Motion capture 数据集，重构人体动作的连边，同时对未来状态做出动作预测；
• 不仅找出了人体的人体骨架图，还找出了隐性的连边；动作预测效果也非常好（t = 30时出现误差）。

连边重构

动作预测

实验三：NBA数据实验 

• 使用 NBA 比赛的图像数据，选择”挡拆“环节的相关运动员与球数据；

• 包含了 5 个节点：球，持球者，保护者，进攻者, 保护进攻者；

• 预测这 5 个节点的运动轨迹，以及重构出对应的相互作用网络。

讨论与思考

本文主要贡献在于首创了用深度学习的方法同时学习出显式的相互作用网络，和动力学。在网络重构领域是一个里程碑式的工作。不过本文 NRI 模型只适用于规模非常小的网络，而且要求网络是静态的，所有节点间的相互作用也是相同的，所以距离实际应用还比较遥远。

“面向复杂系统的人工智能”

系列闭门读书会报名中

读书会主题

本次读书会将会围绕下面二个子主题，分别是：

• 基于深度学习的复杂系统自动建模
• 基于可解释性的因果推断方法论

为更好的进行学习，交流与讨论，本系列读书会是闭门读书会。我们会选取其中的少数几期进行直播，本次直播便是其一。

读书会目的

本次读书会的目的是通过闭门分享讨论的形式，我们将为大家提供更加沉浸，深度，自由的交流环境。

此外，本次读书会还将选拔数名进行过高质量分享的青年学者免费参与我们后续的闭门研讨活动：“集智-凯风研读营”。研读营是集智年度最高水准的闭门科学研讨活动，是集智科学家们的年度聚会。

网络几何与深度学习—2018集智凯风研读营

参与方式及时间

时间：

从7月5日起，每周日晚上 20:00-21:30（暂定），持续时间预计 2-3 个月，今天为系列读书会第二期。

参与方式、报名费用、规则、报名入口及读书会路径等信息请点击：闭门读书会招募：面向复杂系统的人工智能研究 | 集智凯风研读营-预备营

推荐阅读

---

集智俱乐部QQ群｜877391004

商务合作及投稿转载｜[e-mail]

◆ ◆ ◆

搜索公众号：集智俱乐部

加入“没有围墙的研究所”

让苹果砸得更猛烈些吧！

👇点击“阅读原文”，了解更多论文信息